Anh em

Các anh trai của Duệ là Vi Toản, Vi Xiển đều sớm nổi tiếng.

• Vi Toản được làm đến Tư đồ ký thất, Đặc tiến nhà Nam Tề; Thẩm Ước từng ca ngợi với Lương Vũ đế rằng: “Hận bệ hạ không ở cùng thời với người này, học vấn của ông ấy không cùng bực với thần.”
• Vi Xiển được nắm huyện Kiến Ninh, nhận bổn lộc hơn trăm vạn tiền, đem về gởi tất cả cho bác là Vi Tổ Chinh phân chia, vì thế được họ hàng, láng giềng nhờ cậy. Xiển được làm đến Thông trực lang.

Ngoài ra Duệ còn có người em họ (tộc đệ) là Vi Ái, sử cũ có truyện.

Hậu nhân

Duệ có 4 con trai: Vi Phóng, Vi Chánh, Vi Lăng, Vi Ảm.

• Vi Phóng, tự Nguyên Trực, sử cũ có truyện.

• Con Phóng là Vi Sán, sử cũ có truyện.

• Con Sán là Vi Lượng.

• Vi Chánh, tự Kính Trực. Ban đầu, Chánh được làm Nam Khang vương Hành tham quân, dần thăng đến Trung thư thị lang, ra làm Tương Dương thái thú. Từ trước Chánh thân thiết với người Đông Hải là Vương Tăng Nhụ, vào lúc Tăng Nhụ được làm Thượng thư Lại bộ lang, tham dự vào việc tuyển chọn quan lại, nên bạn bè, họ hàng chẳng ai không xu nịnh, chỉ có Chánh một mình lạnh nhạt với ông ta. Đến khi Vương Tăng Nhụ mất chức, Chánh mới đi lại với ông ta như xưa, được người đời khen ngợi. Chánh được làm đến Cấp sự Hoàng môn thị lang.

• Con Chánh là Vi Tái, sử cũ có truyện.

• Vi Lăng, tự Uy Trực, tính điềm đạm, trong sạch, chuyên tâm nghiên cứu kinh sử. Lăng học rộng biết nhiều, kẻ sĩ đương thời đều tìm đến Lăng để nhờ giải thích những tồn nghi. Ban đầu, Lăng được làm An Thành vương phủ Hành tham quân, dần được thăng đến Trì thư Thị ngự sử, Thái tử bộc, Quang lộc khanh. Trước tác Hán thư tục huấn, 3 quyển.
• Vi Ảm, tự Vụ Trực, tính cương trực, sớm làu thông kinh sử, có văn tài. Ban đầu, Ảm được làm Thái tử xá nhân, dần thăng đến Thái bộc khanh, Nam Dự Châu thứ sử, Thái phủ khanh. Khi Ảm ở chức Thái bộc khanh, thì cháu trai Vi Sán đã được làm đến Thái tử Tả vệ soái (nhờ gần gũi với Thải tử Tiêu Cương từ khi Cương còn làm Tấn An vương). Vì thế Ảm thường ấm ức, nói với mọi người rằng: “Vi Sán gặp may mắn, triều đình như vầy có thể trọng dụng nhân tài hay không?” Người hiểu biết đem việc này để chê bai Ảm. Vào lúc Hầu Cảnh nổi loạn, Ảm đồn trú Lục Môn, sau đó được đổi làm Đô đốc thành tây diện chư quân sự. Bấy giờ Hầu Cảnh ở ngoài kinh thành Kiến Khang khởi công đắp 2 tòa núi đông – tây, trong thành cũng làm vậy để ứng phó. Ảm nhận lệnh giữ núi đất phía tây, đêm ngày khổ chiến, nhờ công được thụ khinh xa tướng quân, gia Trì tiết. Ảm mất ở trong thành, được tặng chức Tán kỵ thường thị, Tả vệ tướng quân.